First Passage Attention
首达注意力机制（First Passage Attention）
🧭 注意力机制 · 选择性上下文擦除
University of Bergen
用路径极值替代累加衰减，实现选择性上下文擦除并压缩 KV cache 到 25% 仍保持长程检索
📌 工作参考价值（4 点）
- 长序列用户行为建模：FPA 的“路径极值”允许选择性擦除中间事件（如误触、临时会话）而保留早期长期偏好，适合电商用户序列编码。
- 多轮 Agent/对话上下文管理：可借鉴其栈式存活 key 机制，在 RAG 长对话中自动丢弃已撤销指令或中间推理，降低噪声并压缩 KV cache。
- 工程优化：FPA 在约 25% KV cache 压缩下保持 8 倍训练长度 passkey 检索，可直接用于长上下文推理降本，对搜索推荐 LLM 服务有实用价值。
- 可尝试将 FPA 头部作为用户序列编码器，替代 additive forget gate，提高对层级事件（加入/删除购物车、订单状态变更）的敏感度。